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1.3 大 语言 模型 (LLM) 
目前 流行 的 LLM 基于 Transformer 架构 。 


P(x) = IEG | B1 72 2 1) 
i=1 
P(z, 4|z) = p(zsu | Ly En) 


。 Transformer: 一 种 自 回 归 的 生成 模型 
> LLM 的 词 表 : 字母 表 X 
* LLM 所 有 可 能 的 Token 串 : X* 
* dH: HB or—(x0m02:)€ 
> 下 一 个 Token 在 上 的 概率 分 布 P(x, ,1|zx) 


Note: 本 研究 暂 不 讨论 Transformer 的 细节 。 
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1.4 领域 特定 语言 (DSL) 
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领域 特定 语言 (Domain Specific Language, DSL) 
。 为 特定 领域 应 用 程序 设计 的 计算 机 语言 
* 能 够 被 计算 机 准确 识别 的 结构 化 字 串 
一 被 程序 员 或 程序 所 期 望 的 数据 结构 
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各 领域 使 用 DSL 


。 工业 界 

* 编程 语言 、 数 据 格式 、 配 置 文件 、 指 令 集 、 协 议 
。 FNI 

* 图 文 排版 、 分 子 结构 1、 香 日 质 结 构 、 量 子 算法 
。 商业 和 艺术 领域 

”COBOL3、Csound、ChucK+ 和 Processing? 等 


Note: DSL 与 通用 编程 语言 (GPL) 有 区 别 ， 本 研 
究 不 强调 区 别 ， 统 一 称 之 为 DSL。 


! 例 如 使 用 ASCI 字符 串 明 确 分 子 结构 的 OpenSMILES 
2 例如 拥有 了 良好 句法 定义 的 -Q# 是 一 种 领域 特定 语言 
3 专用 于 商业 的 编程 语言 ， 也 是 最 时 的 高 级 编程 语言 之 一 
4 专用 于 实时 声音 合成 或 音乐 创作 的 计算 机 编程 语言 

5 为 电子 艺术 以 及 视觉 交互 设计 而 创建 的 编程 语言 
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大 语言 模型 LLM) 


学 术 界 、 工 业界 近年 来 有 控制 LLM: 和 生成 领域 特定 语言 (DSL) 
DSL 的 需求 ， 我 的 实践 表明 现 有 方法 可 以 改进 。 > al (Motivation) 


DSL 异步 解析 需求 


SE o6 E MEZT ZR 
。 两 个 需求 寞 曲 同 工 ， 能 够 进行 统一 处 理 DSL 生成 性 能 不 好 

方法 (Method) 
元 语言 和 协 程 
约束 解码 器 

!OpenAI. “More Control". YieldLang 

?https:/ /www .langchain.com 采样 器 

?https:/ /arxiv.org/abs/2305.19234 、 

shttps:/ /arxiv.org/abs/2109.05093 效 采 (Effect) 

^https:/ /github.com/guidance-ai/guidance 展望 (Prospect) 


9https://github.com/mangiucugna/json repair 

"https:/ /github.com/vlIm-project / vllm/pull/2105 

*https:/ /github.com/huggingface/transformers/pull/277557 
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cle Difficult to develop, error- 
1 prone, and error-handling 


: 7 Pseudo-Natural 
Any Info Form | Application | ee dic 
— — HCI Interactive Processed LLM (NN) 
Program Natural Language 


User 
p-> Nice! :) 
r 1 Data Structures 

Aay lito: korra | Application | Instructions (DSL) 
Tessin] 
HCI Interactive Processed LLM (NN) 
Program Natural Language 
User 


。 ER: 难题 (应 用 程序 不 易 处 理 模 糊 的 信息 ) 
。 下 图 : 本 研究 的 解决 方案 (基于 约束 解码 絮 ) 
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2.3 DSL 异步 解析 需 
1. 大 语言 模型 补 全 代码 
。 输出 了 1000 个 Token 的 Java 代码 ， 但 是 因 
为 某 个 地 方 少 了 一 个 插 号 , 导致 整个 代码 无 法 
运行 (Syntax Error) , X£ Parser 都 过 不 了 
2. 大 文件 的 传输 和 解析 
。 小 明 传 输 了 一 个 1000 GiB 的 JSON 数据 文 
fF, 小 红 的 程序 收 到 后 解析 出 错 。 小 红 找 小 明 
修复 , 小 明 发 现 原来 JSON 末尾 多 了 一 个 如 号 


。 为 什么 要 人 工 修复 ? 
。 为 什么 要 传输 完毕 之 后 才能 解析 ? 
。 浪费 的 算 力 、 带 览 和 时 间 由 谁 来 承担 ?! 


zE E 
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现 有 方法 背景 (Background) 
1. 大 部 分 时 间 消 耗 在 LLM 的 生成 或 传输 ) 过 程 。 x 


关于 本 文 (About) 

2. Parser 通常 假设 给 定 的 串 (DSL) 正确 , 是 同步 的 大 语言 模型 (LLM 
。 和 鲁 棒 性 不 好 , 不 容易 灵活 处 理 错误 和 恢复 解析 od 
。 增 量 解析 复杂 度 下 限 是 : O(n?)-Y7 OQ) "oe 


> DSL 异步 解析 需求 
如 果 能 够 异步 地 处 理 DSL， 那 么 就 可 以 一 边 “ 传 DSL 生成 性 能 不 好 
输 ” 一 边 处 ". 4E 在 传输 过 程 中 就 发 现 错误 ， 就 及 方法 (Method) 
时 止 损 并 给 予 通知 ， 能 够 节省 带宽 和 时 间 。 元 语言 和 二 和 


约束 解码 器 
> JSON.parse(‘{ "key": @`) YieldLang 
@ PUncaught SyntaxError: Expected ',' or '}' after property VM234:1 KEEA 


value in JSON at position 10 (line 1 column 11) 本 " 
at JSON.parse («anonymous») 效果 (Effect) 
at «anonymous»:1:6 


RZ (Prospect) 
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2.4 DSL 生成 性 能 不 好 
设计 实验 


常见 的 DSL 句法 特征 : 匹配 的 括号 对 。 
。 构成 语言 L(G), G 是 一 个 CFG 
«d&scLG)HI-2'(C Hr2»»' 
。 集合 T= {srz | Vs € L(G),z € X*) 
* 全 部 都 是 非法 的 括号 对 
> Q s—I"r" € L(G) 


| C [97.870 
(002 22 


(O22 22 (0022) z > 272% 


0 


) | 0.196 


C | 99-996 
(022 2 ^ [S 
0.196 | 


2.196 
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性 能 曲线 (x, v) 


10F 
0.8 上 
osp . 
0.4 F 
0.2 F 


0.0 E; 


: 平均 字符 串 长 度 


0.8r 
0.4r 
Right parenthesis 0.2r 
— nA pos 
0 50 100 150 200 250 300 
(1) OpenAI/GPT-2 117M 
0.6 
0.4 
Right parenthesis 0.2 
— Piin pe 
0 50 100 150 200 250 300 


(3) OpenAI/GPT-2 XL 1558M 


sl, 错误 概率 p(e) 


1.0F 


0.6[ * 


0.0 上 —— 


E z * — Right parenthesis 
à —— Illegal prefix 


0 50 100 150 200 250 300 


ET aia 
fv 


Right parenthesis 4j 
—— — Illegal prefix 


0 3 mo 10 3o 30 3 
(4) Google/Gemma-7B 7751M 


HA: 错误 Token e 的 可 能 性 


红线 : 错误 DSL 前 级 


GRAH S) 的 6 


能 性 
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参数 量 达 到 近 78 亿 的 Gemma 模型 , 其 |s| 达到 282 
IT, EREA 95% 以 上 。 


。 这 些 语言 模型 的 DSL 生成 性 能 是 难以 接受 的 


”模型 名 称 ”参数 量 DateGMI+8 [sio so |s|- 95g 


GPT-2 117M _ 2019-2-14 14 20 
GPT-2 Large 774M 2019-2-14 24 32 
GPT-2 XL 1558M 2019-2-14 32 36 
Gemma 7751M 2024-2-21 194 282 


。 四 种 模型 在 |s| 增加 时 ,错误 概率 p(e) 不 断 提 升 
。 匹配 的 括号 对 是 非常 普 凯 的 DSL 句法 特征 

。 能 够 生成 DSL 的 子 集 是 生成 DSL 的 前 提 

。 LLM 的 DSL 生成 性 能 在 快速 下 降 ! 


华南 师范 大 学 本 科 毕 设 答辩 


dti Ed 
H3 (Background) 


概述 (Overview) 
关于 本 文 (About) 
大 语言 模型 (LLM) 
领域 特定 语言 (DSL) 


动机 (Motivation) 


DSL 异步 解析 需求 


> DSL 生成 性 能 不 好 


方法 (Method) 
元 语言 和 协 程 
约束 解码 器 
YieldLang 
采样 器 

效果 (Effect) 
RZ (Prospect) 
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为 什么 现 有 LLM 生成 DSL 的 性 能 不 好 ? 背景 (Background) 
概述 (Overview) 
_z./T 
softmax (-z) = C zil 关于 本 文 (About) 
T. d ol T 大 语言 模型 (LLM) 
dn 领域 特定 语言 (DSL) 


© 动机 (Motivation) 
di luct DSL 异步 解析 需求 
(Oo O) > DSL 生成 性 能 不 好 

" d b x b 方法 (Method) 


: : um > 4) v 
0 2 ; Y 元 二 言 和 协 程 
YieldLang 


。LLM 的 生成 是 具有 随机 性 的 ee 

基于 自 回 归 模 型 获得 一 个 申 需 要 多 次 采样 NS 
深度 神经 网 络 输 出 层 概率 的 可 解释 性 不 好 gU (ACK) 
:温度 参数 会 影响 概率 分 布 ， 采 样 有 随机 性 
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方法 (Method) eol 


概述 (Overview) 


1. 背景 (Background ) 关于 本 文 (Abonut) 
大 语言 模型 (LLMD) 
2. 动机 (Motivation) 领域 特定 语言 (DSL) 
sas 5 Motivati 
3. 方法 (Method) we 
: 一 :五 一 hga FELV WENT rfi > 
dd 程 DSL 生成 性 能 不 好 
uc "s P 方法 (Method) 
e YieldLang 元 语言 和 协 程 
NES: 约束 解码 器 
YieldLang 
4. 效果 (Effect) PUN Í 
FNA F 
5. 展望 (P (P rospect) 效果 (Effect) 
RZ (Prospect) 
6. 致谢 (ACKs) 致谢 (ACKs) 
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3.1 元 语言 和 协 程 


* "n: 
" 用 于 表述 语言 的 语言 
本 文 特 指 描 述 CFG 的 语言 ， 是 一 种 形式 语言 
- 被 广泛 使 用 的 、 可 被 图 灵机 识别 的 语言 之 一 
- 四 元 组 G = (N,X, P, S) 定义 了 形式 文法 
- 有 限 的 非 终 结 符 集 N 
- 有限 的 终结 特集 FRR) X 
- 有 限 的 产生 规则 集 P 
- 开始 符号 Se N 
* 产生 规则 
- 形 如 (Xu N)'N(XUN)' 2 (NUN) 
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合法 的 揪 号 对 的 语言 背景 (Background) 


概述 (Overview) 


° 产生 规则 P 关于 本 文 (About) 
"fl-'(ur20,93 FN S S, TE e 大 语言 模型 (LLM) 
领域 特定 语言 (DSL) 
P = {S ud Due lSr5} 动机 (Motivation) 
-— m DSL 异步 解析 需求 
。 更 清晰 的 表示 DSL 生成 性 能 不 好 
(Pairs) = (Pair) 方法 (Method) 
b» 元 语言 和 协 程 
(Pairs) — (Pair) (Pairs) FIERET 
(Pair) — ( (Pairs) ) PM: 
采样 器 
(Pair) ES 效果 (Effect) 


展望 (Prospect) 


致谢 (ACKs) 


e O0, CO», COO, COODO, ss 
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EXAM 


。 C 语言 代码 的 例子 


» if (x»9)ix^0;y 


y *1;l 


(Stmt) 
3f 6 (Expr) ) (Stmt) 
Expr) (Optx) Expr} 
Ta) 
x  (Optrt) 
> (Expr) 
(Num) 
9 (Stmt) 
(Stmt) — (Id) = (Expr) ; ( (StmtList) 
(Stmt) — ( (StmtList) } (StmtList) (Stmt) 
(Stmt) — if ( (Expr) ) (Stmt) (Stt) 
(StmtList) — (Stmt) (Id) - (Expr) ; 
(StmtList) — (StmtList) (Stmt) 过 (Expr) 
(Expr) — (Id) (Num) 
(Expr) — (Num) 0 (Stmt) 
(Expr) — (Expr) (Optr) (Expr) (d) = (Expr) 
(Id — x y (Expr) 
(Id) 2 y (Expr) (Optr) (Expr) 
m —0 (Id) 
unb T Optr 
(Num) 一 9 E E (Expr) 
(Optr) 2 > (Num) 
(Optr) > + if ( x > gize 0 3 y y i 1 


。 AW: C 语言 的 一 个 子 集 CFG 表示 
«HU: 将 代码 表示 为 CFG 的 推导 树 
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3 ° 2 ZR fe nias 背景 (Background) 


概述 (Overview) 


Constrained- Generation (x € M*,G : CFG): 关于 本 文 (About) 
Ig $E > 初始 化 空 串 e 大 语言 模型 (LLM) 
a . 领域 特定 语言 (DSL) 
ne Py | 2G. f, F — PCM 
5, ifc (G): [^ ZIER e LG) DSL 异步 解析 需求 
6 return 乡 D^ 返回 预期 的 DSL DSL 生成 性 能 不 好 
1| else: us 
8 Uprefix: Mp (Yprefix) v Generator($, G) HH (Method) 

9 w* + arg max Pr (o | w € Mp (Yprefix) iiei - 元 语言 和 协 程 

10 Juno cu > SEP $e P(G) D 约束 解码 器 

YieldLang 
。 2021 首次 提出 : ElementAI 一 EMNLP i 


效果 (Effect) 
RZ (Prospect) 


致谢 (ACKs) 


。 2023 进一步 发 展 : MIT, Google 2 NIPS 
本 人 研究 实现 了 一 种 采用 协 程 、 异 步 的 解码 器 

e YieldLang + 元 语言 框 染 o Generator 
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3 ° 3 YieldLang 背景 (Background) 
概述 (Overview) 


class PairsGenerator(TextGenerator): X TAX (About) 


def top(self): 大 语言 模型 (LLM) 
yield self.pairs 领域 特定 语言 (DSL) 
def pairs(self): 
yield select( 动机 (Motivation) 
(self.pair), DSL 异步 解析 需求 
(self.pair, self.pairs) 
DSL 生成 性 能 不 好 
def pair(self): 方法 (Method) 
yield optional MUS b 
1 ( 1 ， self .pairs i 1 ) 1 元 语言 和 协 程 
) 约束 解码 器 
p YieldLang 
生成 器 : class TextGenerator 采样 器 


-HEEN FAM, WR, IIR, JSON, 流 图 、. 效果 (Effect) 


展望 (Prospect 
" 采样 器 : class TextSampler "" na 2) 
SX H KS 
* 随机 采样 、LLM KE HEAREN 
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。 YieldLang 的 JSON 生成 器 
- 根据 JSON 官方 的 语法 表达 :1 


class JSONGenerator (TextGenerator) : 
def top(self): 
yield self.json 
def json(self): 
yield self.element 
def object(self): 
yield select( 
(4, self.ws, ')'), 
('(', self.members, '}') 
) 
def members (self): 
yield select( 
(self.member), 
(self.member, ',', self.members) 


) 
def member(self): 


yield (self.ws, self.string, self.ws, ':' 


def array(self): 
yield select( 
('*[', self.ws, ']'), 
('[', self.elements, ']') 
) 
def elements(self): 
yield select( 
(self.element), 


Date: 2024/4/22 ! https:/ /www.json.org/json-en.html 


, Self.element) 
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def 


def 


def 


def 


def 


def 


def 


def 


def 


def 


(self.element, ',', self.elements) 
string(self): 
yield ('"', self.characters, '"') 


characters(self): 
yield optional(self.character, self.characters) 
character(self): 
yield select( 
accept(range-('Nu0020', 'Nuffff'), invalids-('"', '\V)), 
('\\', self.escape) 


escape(self): 
yield select( 
XN /bfnrt'!, 
('u', repeat(self.hex, 4)) 
) 
hex(self): 
yield select( 
self.digit, 
select(*'ABCDEF'), 
select(*'abcdef') 


digit(self): 
yield select('0', self.onenine) 
onenine(self): 
yield select(*'123456789') 
number (self): 
yield (self.integer, self.fraction, self.exponent) 
integer(self): 
yield select( 
(self.digit), 
(self.onenine, self.digits), 


('-', gelf.digit), 

('-', self.onenine, self.digits) 
) 
digits(self): 
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def 


def 


def 


def 


def 


def 


def 


def 


yield select( 
(self.digit), 
(self.digit, self.digits) 


fraction(self): 
yield optional('.', self.digits) 
exponent (self): 
yield optional(select( 
('E', self.sign, self.digits), 
('e', self.sign, self.digits) 
33 
sign(self): 
yield optional(select('*', '-')) 
boolean(self): 
yield select('true', 'false') 
null(se1f): 
yield 'null' 
value(self): 
yield select( 
self.object, 
self.array, 
self.string, 
self.number, 
self.boolean, 
self.null 


element (self): 
yield (self.ws, self.value, self.ws) 
ws(self): 
yield optional(select( 
('Nu0020', self.ws), 
('Nu0004A', self.ws), 
('Nu0OO0D', self.ws), 
('Nu0009', self.ws) 
) 
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- EZRM 


Date: 


2024/4/22 


。 JSON 语法 的 有 环 示 


object array 


members 


string 


characters 


json 
示意 图 


value 


m boolean null 


[一 一 
Eres 


number 


escape 


integer 


fraction exponent 


onenine 


sign 
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e Yield e YieldLang 1$ :& (Background) 
- 产生 - 从 形式 语言 获得 灵感 、 基 于 协 程 、 支 持 异步 BOE (Overview) 
- 届 服 - 基本 思想 : 采样 — 生成 DSL E 

«Lang 跟踪 符号 出 入 和 完成 情况 ， 构 造 AST ie 


» 语言 e 即 解析 DSL 为 AST (IR) 动机 (Motivation) 


DSL 异步 解析 需求 


输入 JSON 上 文 
SESEK 
EN DSL 生成 性 能 不 好 
^ fee 方法 (Method) 
元 语言 和 协 程 
期 待 的 字符 /正则 约束 解码 器 
在 解析 到 第 10 个 字符 时 ， APNTs 如 下 : > YieldLang 
期 待 值 (Char/RegExp) 
采样 


效果 (Effect) 
EZ (Prospect) 


致谢 (ACKs) 


期 待 值 (Char/RegExp) 
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。 YieldLang 的 流 图 生成 器 (简单 例子 ) 
、Mermaid! 是 一 个 图 表 创 建 工具 和 DSL 


class MermaidGenerator(TextGenerator): 


def 


def 


def 


def 


def 


def 


def 


def 


top(self): 
yield self.mermaid 
mermaid(self): 
match (yield self.graph name): 

case 'flowchart': 

yield self.flowchart 

graph name(self): 
yield select('flowchart') 
flowchart (self): 
yield (' ', self.flowchart type, 'Mn') 
yield join('\n', self.flowchart rules) 
flowchart type(self): 
yield select('TD', 'LR') 
flowchart rules(self): 
rand times - randint(10, 20) 
single line - (' '*4, self.flowchart rule) 
yield from repeat(single line, rand times) 
flowchart rule(self): 
yield self.node 
yield "==> ! 
yield self.node 
node (self): 
yield select(*range(1, 10)) 
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!https:/ /mermaid.js.org/intro/ 
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SX ~% PP 
3.4 IN A (Background) 


概述 (Overview) 
First (A c N): XT X (About) 
lsc 大 语言 模型 (LLM) 
2 for (A — o) in P: 领域 特定 语言 (DSL) 


动机 (Motivation) 


DSL 异步 解析 需求 

| DSL 生成 性 能 不 好 

else if a= Bc N: v" 

| st sU First(B) 万 法 (Method) 

return s 元 语言 和 协 程 
约束 解码 器 
。 非 终 结 符 A, First(A) 由 三 条 规则 定义 YieldLang 
1. Æ A— e, lll e € First(A) » Hu 


效果 (Effect) 
展望 (Prospect) 


致谢 (ACKs) 


2. di A— a... € X*, lll a € First(.A) 
3. Æ A —> B... € X*, Wl| First(B) C First(.A) 
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JSON 前 级 空 字 符 串 s， 什 么 是 Mpls)? Q 


> 在 JSON(JavaScript Object Notation) 上 下 文中 , 我 们 通常 会 考虑 JSON 的 syntax $i 
则 ,以 确定 哪些 字符 串 或 字符 可 以 出 现在 特定 上 下 文中 。 JSON 是 一 种 轻 量 级 数据 交换 
格式 ， 基 于 JavaScript 对 象 字 面 语法 ， 但 独立 于 任何 语言 ， 许 多 编程 语言 都 支持 它 。 如 果 我 
们 将 空 字符 串 s = e 视 为 前 级 ， 那 么 我 们 要 确定 所 有 可 能 的 字符 m ， 从 而 使 sm 成 为 JSON 
结构 的 有 效 前 级 。 一 个 JSON 的 结构 可 以 是 : 

对 象 ， 以 '{' 开头 


TH, DA DC 开头 

"EH, DA tt! 开头 

数字 ， 以 /0-9/ 或 '-' 开头 

布尔 ， 以 't' (true) EX '£' (false) 开头 
ZEB, 以 'n' 开头 


因此 ， 对 于 空 字符 串 s, RE Mp(s) 将 包含 所 有 可 以 作为 JSON 开头 的 字符 : Mp(s) = 
{01，/1-9/，'-'，'t'，'f'!，'n'}。 这 包括 所 有 数字 字符 和 符号 '-'， 
因为 负数 也 是 有 效 的 JSON 数字 。 请 注意 , 这 组 字符 不 包括 空格 、 制 表 符 或 其 他 空白 字符 , 它 
们 虽然 可 以 出 现在 JSON 文本 中 ， 但 并 不 构成 独立 的 JSON 结构 。 


前 级 : P(G)— {rE |3yezr:zyEZG)} 
采样 : Mp(s)—-imeX|sme P(G)) 
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